From Reasoning Traces to Reusable Modules: Understanding Compositional Generalization in Language Model Reasoning
从推理轨迹到可复用模块：理解语言模型推理中的组合泛化
🧭 训练与推理中的模块化组合泛化
Carnegie Mellon University · Mohamed bin Zayed University of Artificial Intelligence · Institute of Foundation Models · University of Michigan
揭示SFT与RL在LLM推理中非对称互补：SFT提供模块原料，RL分解轨迹提取原子模块实现组合泛化
📌 工作参考价值（4 点）
- 训练范式迁移：在构建推荐/搜索Agent时，可先通过SFT用组合轨迹（如查询改写→检索→排序的完整链）覆盖所有原子技能，保证基础能力；再用RL重点训练SFT未见过的技能组合，提升泛化性。
- 数据构建策略：训练数据应避免只给孤立原子操作（如单独改写或单独排序），而应提供复合任务示例，实验证明复合训练比分离训练带来更强的组合泛化。
- RL Fine-tuning 设计：RL阶段将奖励信号聚焦于新颖组合，鼓励模型探索原子模块的不同路由方式，可有效提升在未见过的搜索场景或用户意图下的表现。
- 模块化推理架构：在Agent工作流中可显式抽象出“技能（局部操作）”和“路由（信息选择与组合）”两级原子模块，便于模型复用和重组，降低新任务开发成本。